#생성 모델

확산 언어 모델(Diffusion LM) 만드는 법

GPT류의 자기회귀(autoregressive) 모델 대신 이미지 생성에 쓰이는 확산(diffusion) 기법을 텍스트에 적용한 '확산 언어 모델'의 원리와 최신 연구 성과를 소개하는 글입니다. 2024년 품질 경쟁력을 확보한 뒤 2026년에는 Mercury 2, Gemma Diffusion, Nemotron Diffusion 등 상용 모델이 등장했으며, 이 글은 단순 마스킹 확산부터 반복 정제, 사후 학습, 가변 길이 생성까지 핵심 구성 요소를 다룹니다.

탐색적 모델링: 수많은 정답 중 최적의 하나를 찾는 새로운 패러다임

기존 생성형 AI 모델들이 겪던 '평균화로 인한 흐려짐(Blur)' 문제와 복잡한 다단계 추론의 한계를 극복하는 새로운 접근법, 탐색적 모델링(Explorative Modeling)이 제안되었습니다. 이 방법은 모델의 데이터, 파라미터, 연산 효율성을 최대 6배 이상 획기적으로 향상시키며, 엔드투엔드(End-to-End) 방식으로 단일 추론만으로도 고품질 결과물을 생성해 낼 수 있습니다. 특히 제어 및 조건부 생성 작업에서 최대 256배 적은 연산량으로 기존 디퓨전 모델과 맞먹는 성능을 내는 등 AI 모델 스케일링의 새로운 축으로 주목받습니다.